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Freiraumuberwachung bei Kraft fahrzeugen 



Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur 
Uberwachung des Freiraums in Fahrtrichtung eines Fahrzeuges 
nach den Oberbegrif f en der Patentanspruche 1 und 10. 

Bei schwierigen Fahrmanovern ist es fur Fiihrer von Kraftfahr- 
zeugen oft schwierig abzuschat zen, entlang welcher Bahn sich 
ihr Fahrzeug bewegen wird und welcher Freiraum zur Kollisi- 
onsvermeidung notwendig ist. Dies ist insbesondere dann der 
Fall, wenn der Fahrzeugf uhrer mit den AbmaEen des Fahrzeugs 
oder dessen Fahrverhalten nicht vertraut ist. 

Um den Fahrer bei schwierigen Fahrmanovern zu unterstiit zen, 
wird in der japanischen Of f enlegungsschrif t JP 2000-67395 A 
ein Fahrerinformationssystem beschrieben, bei welchem die 
die Fahrbahn beschreibende Bilddaten mit pradizierten Fahr- 
spuren iiberlagert werden. Auf diese Weise wird es dem Fahr- 
zeugfuhrer moglich, das zukiinftige Verhalten seines Fahrzeu- 
ges besser abzuschat zen . Hierzu nutzt das System die Daten 
zweier Sensoren, die an den Vorderradern des Fahrzeuges mon- 
tiert sind und so iiber die Fahrtrichtung und Fahrgeschwindig- 
keit des Fahrzeuges informieren. Aus den Sensordaten wird der 
zukiinftige Fahrweg pradiziert und als Linienstruktur einer 
Abbildung der Fahrspur in einer Anzeigeeinheit iiberlagert. 
Nachteilig wirkt sich bei dem System aus, dass die pradizier- 
te Fahrspur nur mit dem Bild der Fahrbahn uberlagert wird und 
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dem Fahrer keine direkte bildhafte Information iiber Objekte 
im Bereich des Fahrweges eingeblendet wird. 

Um dem Fahrzeugf iihrer einen besseren Uberblick iiber die tat- 
sachliche Umgebung des Fahrzeugs und das Zusammenwirken mit 
diesem zu verschaffen, wird in der Pat entanmel dung ein 
EP 1 158 803 A2 verbessertes Umgebungsiiberwachungssystem vor- 
geschlagen. Hierbei wird das Abbild der Umgebung des Fahrzeu- 
ges mit mehreren Kamerasystemen erfasst und in eine vogelper- 
spektivische Ansicht transf ormiert . Dieser Ansicht wird an 
der der Fahrzeugposit ion entsprechenden Stelle ein das Fahr- 
zeug reprasentierendes Fahrzeugsymbol eingeblendet. Das Fahr- 
zeugsymbol ist hierbei so gestaltet, dass es in seinen Gro- 
feenrelat ionen stimmig in^ das Umgebungsbild einfiigt . Die dem 
Fahrzeugf uhrer angebotene Bildinf ormat ion entspricht somit 
einem Blick von einem Punkt oberhalb des Fahrzeuges auf des- 
sen Umgebung; das heiSt, das Fahrzeug und dessen Umgebung 
wird in einer Art Vogelperspekt ive dargestellt. Um den Fahr- 
zeugfuhrer in seiner Abschatzung des zukiinftigen Fahrweges zu 
unterstiitzen, wird das Bildmaterial des weiteren durch eine 
dreidimensionale, einen pradizierten Fahrweg beschreibende 
Linienkontur iiberlagert . Die Linienkontur wird entspricht dem 
Kantenbild eines Rechtecks, welches entlang der pradizierten 
Fahrbahn gebogen wird. Die beiden unteren Langskanten des 
Rechtecks liegen hierbei auf der Fahrbahn auf und entsprechen 
hierbei im wesentlichen den in der JP 2000-67395 A darge- 
stellten Fahrspur. Die Hohe und Breite des Rechtecks wird 
hierbei gleich oder kleiner als die Hohe und Breite des Fahr- 
zeuges gewahlt. Der Fahrzeugf uhrer erhalt durch diese Dar- 
stellungsf orm zwar eine gute Abbildung des zukiinftigen Ver- 
haltens des Fahrzeuges innerhalb seiner Umgebung, durch die 
fur einen Fahrzeugf iihrer ungewohnliche perspekt ivische Dar- 
stellung ist es fiir ihn jedoch nicht moglich, auf einfache 
Weise eine Kollisionsgef ahr abzuschat zen, welche sich durch 
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seitlich in den Bereich der pradizierten Fahrweg hineinragen- 
de Teile ergibt . Insbesondere von oben in den pradizierten 
Fahrweg hineinragende Teile konnen nur schwer dargestellt und 
erkannt werden. Auch ist es nicht mdglich, Durchfahrten (Tun- 
nel) Oder Einfahrten (Garagen) fur den Fahrzeugf uhrer eingan- 
gig darzustellen, 

Aufgabe der Erfindung ist es deshalb, ein Verfahren und eine 
Vorrichtung zu finden, welche es dem Fuhrer eines Fahrzeuges 
ermoglicht den zukunftigen Fahrverlauf seines Fahrzeuges in 
Bezug auf seine Umgebung zu ersehen und sicher Kollisionsge- 
fahren, durch seitlich oder von oben in den pradizierten 
Fahrweg hineinragende Teile, zu erkennen. 

Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit 
den Merkmalen der Patentanspruche 1 und 10 gelost . 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung sind durch die Unteranspruche beschrieben. 

Bei dem Verfahren zur Uberwachung des Freiraums in Fahrtrich- 
tung eines Fahrzeuges werden mittels eines Kamerasystems 
Bilddaten des im Bereich der Fahrtrichtung befindlichen Fahr- 
zeugumfeldes auf genommen . Zusatzlich wird auf Basis der Be- 
triebsparameter und der Abmessungen des Fahrzeuges innerhalb 
einer Signalverarbeitungseinheit der fur eine ungehinderte 
Fahrt benotigte dreidimensionale Freiraum voraus berechnet . 
Dem Fuhrer des Kraf tf ahrzeuges werden dabei zumindest Teile 
der durch das Kamerasystem erfassten Bilddaten des benotigten 
Freiraums auf einer Anzeige angezeigt . In erf inderischer Wei- 
se werden die Bilddaten hierbei im wesentlichen aus einer 
Perspektive angezeigt, wie sich die in Fahrrichtung liegenden 
Fahrzeugumgebung dem Fuhrer des Fahrzeuges bei direkter Sicht 
darstellen wiirde . Desweiteren werden in erf inderischer Weise 



P802159/DE/1 



die dem benotigten Freiraum zugeordneten Bilddaten einer Wei- 
terverarbeitung unterzogen, wobei als ein Ergebnis dieser 
Weiterverarbeitung, der Fahrzeugf iihrer dariiber informiert 
wird, ob fiir eine ungehinderte Fahrt ein ausreichender Frei- 
5 raum zur Verfiigung steht oder nicht. In vorteilhaf ter Weise 
wird es somit moglich, durch eine kontinuierliche Auswertung 
der Bilddaten automatisch auch auf eine dynamische Verande- 
rung des Fahrzeugumf eldes zu reagieren und den Fahrzeugf iihrer 
dariiber zu informieren, ob fiir eine ungehinderte Fahrt ein 

10 ausreichender Freiraum zur Verfiigung steht oder nicht. Durch 
die Anzeige zumindest des den benotigten Freiraum darstellen- 
den Teils der Bilddaten hat der Fahrzeugf iihrer die Moglich- 
keit, selbststandig das Gef ahrenpotent ial im pradizierten 
Fahrweg abzuschatzen. Die Darstellung der Bilddaten erfolgt 

15 hierbei nicht wie in den aus dem Stand der Technik bekannten 
Systemen in einer perspekt ivischen Darstellung, welche einer 
Sicht von oben auf die Szene entspricht (Vogelperspekt ive) , 
sondern im wesentlichen aus einer Perspektive, wie sich die 
in Fahrrichtung liegenden Fahrzeugumgebung dem Fahrzeugf iihrer 

20 bei direkter Sicht darstellen wiirde . Hierbei ist es jedoch 
denkbar, dass das Abbild der Fahrzeugumgebung, insbesondere 
bedingt durch die Optik des Kamerasystems (beispielsweise 
Weitwinkeloptik oder katadioptrische Kameraoptik) , verzerrt 
dargestellt wird. Andererseits ist es jedoch auch sehr wohl 

25 denkbar, dass im Rahmen der Weiterverarbeitung eine Verzer- 
rung der Bilddaten korrigiert wird. In fiir ihn einganglicher 
Weise sieht der Fahrzeugf iihrer beim Blick auf die Anzeige ei- 
ne Abbildung der Umgebung, welche perspekt ivisch im wesentli- 
chen mit derjenigen Ansicht iibereinst immt , die er beim direk- 

30 ten Blick aus dem Fenster selbst wahrnimmt . Es ist entgegen 
dem aus dem Stand der Technik bekannten also nicht mehr not- 
wendig, dass der Fahrzeugf iihrer die fiir ihn ungewohnte vogel- 
perspektivische Darstellung in die realen Gegebenheiten um- 
setzt . 
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Die Daten uber die AbmaSe des Fahrzeugs sind in einem Spei- 
cher abgelegt, auf welche die Signalverarbeitungseinheit 
zugreifen kann, um unter Zuhilf enahme von Betriebsparametern 
des Fahrzeuges den fur das Fahrmanover bendtigten Fahrraum 
abzuschatzen. Dabei ist es denkbar, dass die im Speicher ab- 
gelegten AbmaSe nicht mit den tatsachlichen AbmaSen des Fahr- 
zeuges ubereinstimmen, sondern um eine gewisse Sicherheits- 
distanz erweitert werden. Eine solche Sicherheitsdistanz 
konnte in vorteilhaf ter Weise zu 20 Zentimetern angenommen 
werden. Auch ist es denkbar, diese Sicherheitsdistanz durch 
die Signalverarbeitungseinheit variabel zu handhaben und je 
nach Fahrgeschwindigkeit und/oder Gef ahrenpotential zu ver- 
groSern oder zu verkleinern. Auch kann die Sicherheitsdistanz 
fur unterschiedliche Bereiche oder Teile des Fahrzeugs unter- 
schiedlich gehandhabt werden. So ist es beispielsweise denk- 
bar, dass der Sicherheit sabstand von Stofifangern geringer 
gehalten wird, als dies fur die stoSempf indlichen Ruckspiegel 
der Fall ist. 

In erf inderischer Weise wird nun dieser Speicher zur Ablage 
der Fahrzeugabmessungen so ausgelegt und organisiert, dass 
darin eine Mehrzahl von Datensatze beziiglich unterschiedli - 
cher Fahrzeugabmessungen abgespeichert sind, welche einzeln, 
durch gezielte Auswahl selektiert, der Signalverarbeitung zur 
Verfiigung gestellt werden konnen. Der Speicher kann auch mit 
einem Mittel versehen sein, durch welches wenigstens einer 
der im Speicher abgespeicherten Datensatze ausgewechselt wer- 
den kann. Dies bietet den Vorteil, dass das System zur Frei- 
raumuberwachung relativ leicht an Veranderungen z.B. der 
Fahrzeugkonturen (z.B. neuer Anhanger, andere Aufbauten usw.) 
angepasst werden kann. Gerade eine solche Ausgestaltung ist, 
vor allem bei Betrieb einer Fahrzeugf lotte , insbesondere 
Lastkraf twagen mit wechselnden Aufbauten von grofiem Vorteil. 
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So kann auch elektrotechnisch unversiertes Betriebspersonal 
iiber einfache Bedienelemente das erf inderische System bedie- 
nen. Dies ohne Austausch von elektronischen Komponenten oder 
dem Verbinden und Bedienen von Programmiergeraten . 

In besonders vorteilhaf ter Weise lassen sich Anderungen in 
den AbmaSen des Fahrzeuges besonders einfach in den der Sig- 
nalverarbeitungseinheit zugeordneten Speicher iibernehmen, in- 
dent ein neuer die Abmessungen beschreibender Datensatz ein- 
fach iiber eine mobile oder stationare Datenverarbeitungsanla- 
ge iiber geeignete Schnittstellen in den Speicher eingelesen 
wird. Besonders vorteilhaf t kann bei entsprechender Ausges- 
taltung des Systems das Einlesen und die Auswahl von Daten- 
satzen auch drahtlos iiber eine Kommunikat ionsanlage erfolgen. 
Im Falle sich haufiger wiederholender (gleicher) Anderungen 
(z.B. Fahrt mit auf geladenen, bzw. abgeladenen Container) 
konnen auch mehrere unterschiedliche Fahrzeugkonturen oder - 
abmaSe im Speicher der Datenverarbeitungsanlage enthalten 
sein und abgerufen werden. Insbesondere hierfiir kann eine dem 
Fahrzeugf iihrer zugangliche Tastatur vorgesehen werden. In be- 
sonders einfacher und gewinnbringender Weise verfiigt diese 
Tastatur iiber einzelne den jeweils in dem Speicher abgelegten 
Datensatzen zugeordnete Tasten, so dass mit einem einzigen 
gezielten Tastendruck der gewiinschte Datensatz ausgewahlt 
werden kann. 

Nachfolgend wird die Erfindung anhand von Ausf iihrungsbeispie- 
len und mit Hilfe von Figuren im Detail erlautert . 

Figur 1 zeigt eine Bildszene (10) , bei welcher die Randbe- 
grenzung des Freiraums durch Uberlagerung von sym- 
bolisch dargestellten Wanden (16) visualisiert ist. 
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Figur 2 zeigt eine zu Figur 1 identische Bildszene (20) , 

wobei hier die Randbegrenzung des Freiraums durch 
Uberlagerung mit einem symbolisch dargestellten 
virtuellen Fahrschlauches (26) mit Schachbettmuster 
visualisiert ist . 

Figur 3 zeigt das Verhaltnis von Weltkoordinatensystem zum 
Fahr zeugkoordinatensystem . 

Figur 4 zeigt die Abbildungsgeometrie eines parabolischen 
Spiegels . 

Figur 5 zeigt die Beziehung zwischen den Koordinaten einer 

Omnicam und denjenigen einer Lochkamera . 
Figur 6 zeigt die inverse Transformation der Bildposition 

einer Omnicam im Bezug auf ein Lochkameramodell . 
Figur 7 zeigt das durch eine Omnicam aufgenommene Bild in 

Fahrtrichtung, welches der Horizont eingezeichnet 

ist . 

Figur 8 zeigt das optische Flussfeld der Bildpunkte inner- 
halb der Szene. 

Figur 9 zeigt das optische Flussfeld fur eine Wand, welche 
senkrecht zur optischen Achse der Omnicam steht, 
bei Bewegung entlang der optischen Achse. 

Figur 10 zeigt den optischen Fluss einer Seitenwand bei der 
Bewegung des Fahrzeuges . 

Figur 11 zeigt den optischen Fluss einer horizontalen Ebene 
der Bewegung des Fahrzeuges. 

Figur 12 zeigt die Tiefenkarte eines Korridors . 

Figur 13 zeigt den optischen Fluss fur den Korridor aus Fi- 
gur 12 . 

Figur 14 zeigt farbcodiert das in Figur 13 gezeigte Fluss- 
feld fur den horizontalen Fluss. 

Figur 15 zeigt farbcodiert das in Figur 13 gezeigte Fluss- 
feld fur den vertikalen Fluss. 

Nachdem durch die Signalverarbeitungseinheit der Fahrweg und 

der hierfur notwendige Freiraum pradiziert wurde, ist es be- 
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sonders vorteilhaft, wenn im Rahmend der Weiterverarbeitung 
der Bilddaten deren dynamische, zeitliche Veranderungen die- 
ser Daten in Betracht gezogen werden. Auf diese Weise kann 
das System Objekte oder Personen erkennen, welche in den fur 
das Fahrmanover benotigten Freiraum eindringen. 1st dies der 
Fall, so sollte in gewinnbringender Weise der Fiihrer des 
Fahrzeuges daruber informiert werden, dass kein ausreichender 
Freiraum mehr zur Verfiigung steht . Diese Information kann 
insbesondere durch optisch, akustisch oder haptisch wahrnehm- 
bare Signalgeber erfolgen. Anderseits ist es auch denkbar in 
den dem Fahrzeugf iihrer angezeigten Bilddaten die den Freiraum 
behindernden Objekte oder Personen hervorgehoben darzustel- 
len. Hierzu eignet beispielsweise eine farbliche Hervorhe- 
bung, insbesondere eine in Bezug auf die Kollisionsgef ahr ab- 
gestufte Falschf arbdarstellung (beispielsweise: hohe Kollisi- 
onsgef ahr -> Objekt wird rot eingefarbt; geringe Kollisions- 
gef ahr -> Objekt wird gelb eingefarbt) . In besonders vorteil- 
hafter Weise konnen die hindernden Objekte oder Personen aber 
auch dadurch hervorgehoben werden, dass sie durch Symbole 
iiberlagert werden. Werden beispielsweise im Rahmen der Wei- 
terverarbeitung der Bilddaten bewegte Objekte mittels eines 
auf dem Optischen Fluss basierenden Bildverarbeitungsalgo- 
rithmus detektiert, so kann in gewinnbringender Weise das be- 
wegte Objekt mit symbolhaften Bewegungsvektoren (Pfeilen) 
iiberlagert werden, welche die Bewegungsrichtung und Bewe- 
gungsgeschwindigkeit (Lange der Pfeile) beschreiben. 

Eine besonders vorteilhafte Art und Weise den Fahrzeugf iihrer 
iiber den ihm zur Verfiigung stehenden Freiraum zu informieren 
besteht darin, dass im Rahmen der We i t erver arbe i t ung der 
Bilddaten die dem Fahrzeugf iihrer angezeigten Bilddaten durch 
eine symbolische Darstellung der Randbegrenzungen des durch 
die Vorausberechnung in der Signalverarbeitungseinheit ermit- 
telten, benotigten Freiraums iiberlagert werden. Hierbei ist 
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es besonders vorteilhaf t , die Randbegrenzungen durch symbo- 
lisch dargestellte Wande zu beschreiben. Die Hohe der Wande 
entspricht hierbei der Hohe des benotigten Freiraums (d.h. im 
wesentlichen den im Speicher abgelegten Abmessungen beziiglich 
5 der maximalen Hohe des Fahrzeuges) . 

In besonders vorteilhaf ter Weise, wird die Randbegrenzung so 
dargestellt, dass der benotigte Freiraum durch eine Art Fahr- 
schlauch begrenzt wird; hierzu wird die Randbegrenzung durch 
10 symbolisch dargestellte Wande und einen Deckenbereich in Form 
eines Tunnels erfolgen. Durch diesen , Tunnelblick ' wird die 
Aufmerksamkeit des Fahrzeugf iihrers gezielt gelenkt, auch kann 
er wesentlich besser Objekte die seitlich oder von oben in 
den Freiraum hineinragen besser erkennen. 

15 

Fur den Fahrer wird die Abschatzung, ob ortsfeste Gegenstande 
in den riickwartigen Freiraum hineinragen besonders einfach, 
wenn er wahrend der (Riickwarts- ) f ahrt die Relat ivbewegungen 
von Gegenstanden im Bild vergleicheh kann mit der Relativbe- 

20 wegung eines ortsfesten symbolischen Fahrschlauches : bewegen 
sich die Gegenstande schneller als die Begrenzungen des Fahr- 
schlauches, befinden sie sich raumlich naher - also innerhalb 
des direkt gefahrdeten Bereiches. Bewegen sie sich wahrend 
der Fahrt langsamer durch das Bild, so sind sie auSerhalb des 

25 Fahrschlauchs und es besteht keine Gefahr, dass sie bei Wei- 
terfahrt beruhrt werden. Aus diesem Grund ist es vorteilhaf t, 
Wande und Decke, ggf . sogar den Boden, des symbolisch darge- 
stellten Tunnels so zu gestalten, dass sie 

1. ) eine geometrisch klare und eindeutig ident if izierbare 
30 Struktur besitzen (beispielsweise : Gitterstruktur , 

Schachbrettmuster oder Ane i nande r r e i hung von Balken) 

2. ) einen „Durchblick" auf die hinterlegte Videoszene 

gestatten (beispielsweise: durchbrochene oder halb- 
transparente Struktur der Wande und/oder der Decke) . 
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3.) Aufgrund der Fahrzeugbewegung jeweils so berechnet 
bzw. bestimmt werden, dass sie in Langsrichtung 
stillzustehen bleiben. 

Urn die Uberlagerung des Kamerabildes mit der symbolhaf ten Be- 
schreibung der Randbegrenzungen des notwendigen Freiraumes 
moglichst realistisch anmuten zu lassen, sind die Abbildungs- 
eigenschaf ten ( Trans format ionsgleichungen) des Kamerabildes 
zu beachten. Zum besseren Verstandnis, insbesondere bezuglich 
der Realisierung der oben unter Punkt 3 angefiihrten vorteil- 
haften Ausgestaltung (Stillstand in Langsrichtung) der gra- 
phischen Uberlagerung, werden nachfolgend beispielhaft die 
notwendigen Transformat ionsgleichungen fur die Uberlagerung 
eines mittels einer kathadioptrischen Kamera (Omnicam) mit 
einem parabolischen Spiegel aufgenommen Bildes aufzeigt. 
Hierbei werden grundlegend und im Detail die einzelnen 
Schritte und Transf ormationsgleichungen aufgezeigt und herge- 
leitet, welche fur eine erf indungsgemaSe Uberlagerung des Ka- 
merabildes mit den Randbegrenzungen des notwendigen Freiraums 
benotigt werden. 

Selbstverstandlich ist die Erfindung nicht auf die Verwendung 
einer solchen Kamera beschrankt, sondern die anhand dieser 
Kamerageometrie im Detail erlauterten notwendigen Transforma- 
tionen lassen sich direkt, in einfacher Weise auch auf Kame- 
rasysteme mit anderen Abbildungseigenschaf ten ubertragen. 
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Koordinatensysteme 

Die hier verwendeten Koordinatensysteme folgen den Konventionen aus der Litera- 
tur iiber optischen Fluss {3}f4}. Im 3D-Kamerakoordinatensystem zeigt die Z-Achse 
in Blickrichtung, die X-Achse nach rechts und die y-Achse nach unten. Die zentrier- 
ten Bildkoordinaten sind gegeben durch eine x-Achse nach rechts und eine y-Achse 
nach unten. Der Ursprung beider Koordinatensysteme ist die Bildmitte. 



Von Welt- zu Fahrzeugkoordinaten 

Fiir eine auf einem bewegten Fahrzeug montierte Kamera kann man zuniichst zwei 
wichtige Koordinatensysteme einfiihren: ein Weltkoordinatensystem. in dem die 
Fahrzeugumgebung ruht und ein Fahrzeugkoordinatensystem. dass sich mit dem 
Fahrzeug bewegt. siehe Fig. 3. Wenn sich das Fahrzeug in Richtung der Z w -Achse 
bewegt. wird die Transformation zwischen diesen beiden Koordinatensystemen durch 
die Position \V(t) des Fahrzeugs im Wei tkoordinatensys tern beschrieben: 




Die momentane Geschwindigkeit des Fahrzeugs ist V = W. Damit ist die zeitliche 
Ableitung eines Punktes, der in der Fahrzeugumgebung ruht: 

(I) d) 



Von Fahrzeug- zu Kamerakoordinaten 

In Fig. 3 ist gezeigt. dass die Kamerablickrichtung um einen Winkel r gegen die 
(Ruckwarts-)Fahrtrichtung geneigt ist. In diesem Fall ergibt sich die Transformation 
von Fahrzeug- zu Kamerakoordinaten wie folgt: 

/X\ A 0 0 

lY J = 0 cos t -sinr ) ( V' v ) (3) 
\Z I \0 sinr cosr 





(4) 

Im allgemeinen Fall enthalt diese Transformation nicht nur den Neigewinkel r, son- 
dern die drei Eulerwinkel . 

Aus Gl. 2 folgt die Bewegung eines stationaren Punktes in Kamerakoordinaten 

X = 0 (5) 
Y = Vs'mr (6) 
Z — -V'cosr (7) 
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Polare Kamerakoordinaten 

Die arctan(?/ ; x)-Funktion mit zwei Argumenten bescimmt die Phase der komplexen 
Zahl x -}- iy im Wertebereich ] — tt.tt]. Die Reihenfolge der Argumente wurde nach 
dem Vorbild der ANSI-C-Funktion atan2 gewahlt. 
Umwandlung von Polar- in cartesische Koordinaten: 



X — R sin 0 cos d> 
Y = R sin d sin (f> 
Z = Rcosd 

Umwandlung von cartesischen in Polar koordinaten: 

R = y/x* -f Y ' 2 + Z' 1 



0 = arctan(>/X 2 +Y' 2 ,Z) 
d> = arctan(V" ; ;Y) 



(8) 
(9) 
(10) 



(11) 
(12) 
(13) 



Polare Bildkoordinaten 

Umwandlung von Poliir- in cartesische Koordinaten: 

x = r cos c£> 
y = r sin tb 

Umwandlung von cartesischen in Polarkoordinaten: 



(14) 
(15) 



t - s/x 2 + y* 
<p = arctan(y.x) 



(16) 
(17) 



Schnittpunkte der Sichtstrahlen mit Ebenen im Objektraum 

Ein Sichtstrahlvektor w sei gegeben in Fahrzeugkoordinaten . Falls w\ ^ 0. schnei- 
det der Strahl die Ebene A"v = a im Punkt 



a 

p = — w 



(13) 



Falls w-2 ^ 0. schneidet der Strahl die Ebene Yy = b im Punkt 



p = — w 

Falls u; 3 ^ 0. schneidet der Strahl die Ebene Zy = c im Punkt 



(19) 



p — — w 

W3 



(20) 
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Omnicam-Abbildung 
Spiegelform 

Die Abbildung durch die hier modellierte Omnicam erfolgt in zwei Schritten: Eine 
Reflexion an einem parabolischen Spiegel gefolgt von einer orthographischen Abbil- 
dung fgtfif. 

Die paraboloide Spiegeloberflache mit einer Brennweite / ist gegeben durch 



2 i '* 

1 4/ 



(21) 



Dieser Ausdruck wird in vielen folgenden Gleichungen verwendet. D.h. dorc stent z 
fur den Term auf der rechten Seite der Gleichung. der von der Bildposition (x.y) 
abhiingt. Da der Fokus der Paraboloids im Koordinatenursprung ist. ist die Blick- 
richtung am Bildpunkc (x, y) gegeben durch 



(22) 




Die Ableitung der Parabolokl-Gleidnmg (21) ist 

dz_ _ _x_ 
tlx ~ 2/ 

d± _ _y_ 
dy 2/ 




(23) 
(24) 



D.h.. ein Normalenvektor auf die Spiegeloberflache hat die Richtung 

m(x,y) = ^y^j (25) 
Dabei wird nicht gefordert, dass s(x. y) oder m(x.y) Einheitsvektoren sind. 



Projektion von Punkten 

Die Omnicam-Abbildung ist am einfachsten darstellbar in Polarkoordinaten: 

r = 2/ tan | (26) 

Wie oben eingefuhrt. ist r der Abstand von der Bildmitte. gemessen in Pixeln. 9 ist 
die Neigung der Blickrichtung zur optischen Achse. Diese Beziehung kann mithilfe 
von Fig. 4 und Gl. (25) ableiten. Das Azimut o ist in Kamera- und Bildkoordinaten 
gleich. 

In cartesischen Koordinaten lautet dies 
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Projektion von Geraden 

Eine Gerade im Raum ist gegeben durch einen Punkt p und eine Richtung I = 
{liihJzY |/| = 1- Der Vektor n = p x I ist senkrecht auf der Ebene. die 
durch die Gerade und den Ursprung der Kamerakoordinaten aufgespannt wird. Die 
Komponenten von n bestimmen die Art des Omnicam-Bildes der 3D- Geraden: 

• Falls n = 0, schneidet die Gerade den Ursprung und ihr Bild ist ein Punkt 
mit den Koordinaten 



V = 



2fh 
1 +/ 3 



(29) 
(30) 



• Falls n ^ O t aber n 3 = 0. ist die 3D-Gerade parallel zur optischen Achse und 
ihr Bild ist eine 2D- Gerade durch die Bildmitte mit der Gleichun° 



7i iX 4- n-vy — 0 



(31) 



• Andcrnfalls ist das Bild der Geraden ein Kreisbogcin mit Mittelpunkt (x Cz y c ) 
und Radius r: 



x c = 2/ni/n M 
y c = 2/n 2 /n 3 
r = 2/|n|/u 3 



(32) 
(33) 
(34) 



Abstand von Ebenen 

Die Lange des Vektors s(x.y) aus Gl. (22) ist 



\a(x,y)\ = 



y- 



z* = f + 



4/ 



2/ 



(35) 



Daher hac ein Punkc in der Entfernung R mit der Bildposition (x, y) die Kamera- 
koordinaten 

Dies ergibt eine kompakte Beziehung zwischen den Kamerakoordinaten eines Ob- 
jektpunktes einerseits sowie Abstand R und Bildposition (x,y) andererseits: 




(37) 



oder ausfuhrlicher 



R 



4/x 

4/y 



(38) 



Der Abstand einer senkrechten Wand mit der Gl. X = a ist so fur einen Bildpunkt 
(x. y) gegeben durch 
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oder ausfiihrlicher 



4/ 2 + x 1 + y- 
4/z 



(40) 



Falls a < 0 ist die Wand nur auf der linken Bildseite (x < 0) sichtbar und umgekehrt. 
Eine horizontale Ebene hat die Gleichung Yy = b im Weltkoordinatensystem. Mit 
Gl. (4) kann man dies in Kanierakoordinaten transformieren: 



Y cos r + Z sin r = b 



Eingesetzt in Gl. (38): 



2f-z 



ycosr + 2 sin r 



oder ausfuhrlich 



i*(x s ?y) = 



4/" + x- + ?/' 



4 fy cos r 4- (4/ 2 — x 2 — y 2 ) sin r 
Fails /> > 0. ist die Ebene nur uncerhalb des Horizonts sichtbar. 



(41) 



(42) 



(43) 



Rektifikation von Omnicam-Bildern 

Fur Omnicams mit einem effektiven Projektionspunkt kann aus dern Omnicam-Bild 
eine Lochkameraansicht rekonstruicut werden. [1] Die zcm trier ten Lochkamerakoor- 
dinaten sind gegeben durch die Projektionsgleichung 

*' = /f (44) 

!,' = f\ (45) 

Die Beziehung zwischen den Omnicam- und Lochkamerakoordinaten sind gegeben 
durch eine Kompressionsfunktion. die man aus Gl. (27f) ableiten kann: 

1 -r y/l -r p' 2 

Einen Graphen dieser Kompressionsfunktion zeigt Fig. 5. 

Die Omnicam-Bildposition (x.y) entspricht den zentrierten Loch kanierakoordinaten 
{x' z y') gemafi 



x = K{ ^ x j V )x > (47) 

y = K{ ^EZ)y> (48) 



Die inverse Transformation ist 



4£ 
4/2 - x 2 - - y 
4/ 



J V (50) 



4/3 - X* - y 

Einen Graph dieses Koeffizienten 4/(4 — p 2 ) zeigt Fig. 6 
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Horizont und FOE 

Zur Beschreibung der Effekte der Fahrzeugbewegung im Bild ist benutzt man die 
Begriffe Horizont und Expansionspunkt (oder FOE von engl. focus of expansion). 
Fig. 3 zeigt. wie eine geneigte Kamera vom Fahrzeug mitbewegt wird. das sich in 
einer horizontalen Ebene bewegt. Der Horizont ist das Bild einer dazu parallelen 
Ebene. die durch das Projektionszentrum geht. wie in Fig. 7 gezeigt. Der Haupt- 
punkt der Kamera ist mit x markiert, der FOE mit einem -h, der Horizont als gelbe 
Linie. 

Eine Gerade in der Horizontebene ist gegeben durch einen Punkt pv = (0, 0. 1) 1 und 
die Richtung lv = (1. 0,0)'. Eine Normale auf der Horizontebene ist ny = (0. 1.0)*. 
und hat die Kamerakoordinaten n = (0. cos r. sin r) 1 . Wie oben diskutiert, muss 
man zwei Falle unterscheiden 

• Fur Kameraneigung r = 0 ist der Horizont eine Gerade mit y = 0. 

• Fur r ^ 0 ist der Horizont ein Kreisbogen. dessen Mittelpunkt und Radius 
gegeben sind durch 



Fiir die in Fig. 3 gozeigte. geradlinige horizontale Bewegung liegt der FOE in der 
Mitte des Horizonts: 



= 0 



(51) 
(52) 
(53) 



fjll = 2/ COt T 

m = 2// sin r 



^foe = 0 



(54) 



Die Ordinate ergibt sich fiir r ^ 0 




(55) 



wie audi aus Gl. (26) folgc. 
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Bei einer symbolischen Darstellung des Fahrraums durch ein 
Gittermuster bestehen nun gerade die Gitterelemente aus senk- 
rechten und waagerechten Abschnitte von Geraden pi, li, gemaS 
der Erlauterung zu den Gleichungen (29) bis (34) , wobei die 
5 pi jeweils Aufpunkte auf den Geradenabschnitten und li je- 
weils einen von zwei Einheitsvektoren in Richtung der ent- 
sprechenden Gitterelemente darstellt. Diese Geradenabschnitte 
werden wie angegeben in Kreisabschnitte auf der Bildsensor- 
flache transf ormiert und diese als Gittermuster dargestellt. 

10 Die ortsfeste Darstellung der symbolischen Gitterelemente 

wird nun dadurch bewerkstelligt , dass bei einer - etwa durch 
einen Drehgeber am Rad gemessene - Fahrt urn die Strecke s in 
Langsrichtung des Fahrzeugs alle Aufpunkte li urn die Strecke 
s entgegen der Fahrtrichtung verschoben werden. 

15 Pi neu =pi-s*e 

wobei e den Einheitsvektor in Fahrzeuglangsrichtung im Kame- 
rakoordinatensystem darstellt. 

Weiterhin ist es sinnvoll, dass der Fahrer sein Fahrzeug 

2 0 nicht unbedingt dauernd bewegen muss, um auf die beschriebene 

Weise anhand der Bewegungsmuster im Bild die Gefahrdung von 
Objekten zu bestimmen. Es sollte ihm deshalb ermoglicht wer- 
den, z.B. durch Betatigung einer Taste eine Wiederholung der 
letzten Bewegungssequenz auf dem Anzeigesystem zu generieren. 
25 Dieses kann z.B. das Bildmaterial der letzten 5m Fahrstrecke 
mit eingeblendetem Fahrschlauch, dargestellt in einer Endlos- 
schleif e sein. 

Mogliche Gestaltungselemente des symbolischen Fahrschlauchs , 

3 0 welche die im letzten Abschnitt beschriebenen Bedingungen der 

klaren geometrischen Struktur und der Transparenz erfullen 
sind z.B. die Darstellung der Randbegrenzung mittels eines 
Gittermusters , einer Aneinanderreihung von Balken oder eines 
Schachbrettmusters . 

35 

Figur 1 zeigt eine Bildszene 10, bei welcher die Randbe- 
grenzung des Freiraums durch Uberlagerung von symbolisch dar- 
gestellten Wanden 16 visualisiert ist. Die der realen Szene 
zuzuordnenden Bilddaten sind durch die gewinnbringende Ver- 
40 wendung einer katadioptrischen Kamera verzerrt . Fur eine 

Fahrzeugf uhrer jedoch sehr leicht wahrnehmbar sind die we- 
sentlichen Objekte im Umfeld, wie beispielsweise die Fahrzeu- 
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ge 11 und 12, sowie die Garage 13 mit dem Rolltor 14 sehr 
leicht zu erkennen. In dem dargestellten Beispiel bildet sich 
durch die Verwendung der katadioptrischen Kamera, der in 
Fahrtrichtung liegende Teil Bereich 15 des eigenen Fahrzeuges 
5 am unteren Rand der dargestellten Bilddaten ab. Eine solche 
Darstellung hat den Vorteil, dass dem Fahrzeugf iihrer eine Be- 
obachtung der potentiell am meisten kollisionsgef ahrdeten Be- 
reiche des Fahrzeuges ermoglicht wird. 

10 Ohne die Uberlagerung der Bilddaten mit den symbolischen Wan- 
den 16 ware es fur den Fahrzeugf iihrer jedoch sehr schwer si- 
cher abzuschatzen, ob er mit seinem Fahrzeug in die Garage 13 
einfahren kann, ohne gegen das teilweise herabgelassene Roll- 
tor 14 zu stofien. Die symbolhaften Wande zeigen ihm jedoch 

15 an, dass fur sein Fahrzeug noch ausreichend Freiraum unter 
dem Rolltor vorhanden ist, urn kollisionsf rei in die Garage 
einzufahren. Aus dem geraden Verlauf der symbolhaften Wande 
kann der Fahrzeugf iihrer auch entnehmen, dass sein Fahrzeug 
zur Einfahrt in die Garage bereits optimal ausgerichtet ist, 

20 so dass er wahrend des Fahrbetriebs keine wesentlichen Lenk- 
korrekturen mehr vornehmen muss. 

Figur 2 zeigt eine zu Figur 1 identische Bildszene (20) , 
wobei hier die Randbegrenzung des Freiraums durch Uberlage- 

25 rung mit einem symbolisch dargestellten virtuellen Fahr- 

schlauches (26) mit Schachbettmuster visualisiert ist. Durch 
die Verwendung eines Schachbrettmusters zur Hervorhebung der 
Randbegrenzungen wird bei der Betrachtung der Bildszene auf 
der Anzeige in besonders einganglicher Weise die Eigenbewe- 

30 gung des Fahrzeuges deutlich. Dies ist besonders dann vor- 

teilhaft, wenn aufgrund groSer Enge mit nur sehr geringen Ge- 
schwindigkeiten gefahren werden kann. 

Durch die in den dargestellten Beispielen verwendete klare 

3 5 geometrische Struktur des symbolischen Fahrschlauchs wird in 

Verbindung mit einer verzeichnenden Optik, etwa einem katadi- 
optrischen Objektiv ein weiterer Vorteil erzielt: durch die 
Ref erenzstruktur des auf die gleiche Art verzeichneten symbo- 
lischen Fahrschlauches fallt es dem Fahrer wesentlich leich- 

4 0 ter, die Verzeichnungen des Objektivs unbewusst abzuschatzen 

und zu beriicksichtigen. Besonders deutlich wird dieses in den 
Figuren 1 und 2 dargestellten Beispielen am Bildrand rechts 
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und links, in denen der Blick auf eine querende Fahrbahn zu 
sehen ist . Beispielsweise erleichtern die in Figur 2 gezeigte 
gewolbten Begrenzungen des rechteckigen Fahrschlauches die 
Interpretation, welches die in Realitat unten und oben lie- 
5 genden Elemente der Szene sind. Bei der hier gewahlten Ver- 
zeichnung liegt die Strasse als unteres Element innen und der 
Himmel am auSeren Rand der kreisf ormigen Darstellung. 

In besonders vorteilhaf ter Weise eignet sich die Erfindung 
10 zur Ruckraumuberwachung beim Rangierbetrieb eines Kraftfahr- 
zeuges. Hierbei ist der riickwartige Raum fur den Fahrzeug- 
fiihrer oft nicht direkt einsehbar, so dass er auf eine 
besonders eingangige Darstellung der Umgebung und der Inter- 
aktion seines Fahrzeuges darin angewiesen ist. 

15 

Eine weitere Unterstiit zung und Entlastung des Fahrers beim 
Rangieren kann erreicht werden, wenn ihm der oben beschrie- 
bene Vergleich der Bewegung eines ortsfesten Fahrschlauches 
mit der tatsachlichen Bewegung von Gegenstanden im Bild nicht 

20 mehr anhand des Augenscheins iiberlassen, sondern von einer 
Berechnungseinheit selbstandig vorgenommen wird. Dieses ist 
moglich mit der Anwendung von z.B. der Robot ik bekannten Ver- 
fahren des Vergleichs des gemessenen optischen Flusses im 
Bild mit dem errechneten optischen Flusses eines Modellvek- 

25 torfeldes, hier dem Modell eines geometrisch definierten 
Fahrschlauches entsprechend Figur 13 . 

Die fur die automat ische Auswertung und den Vergleich des 
optischen Flusses notwendige Algorithmik ist nachstehend 
3 0 beispielhaft fur die Verwendung eines Kamerasystems bestehend 
aus einer kathadioptrischen Kamera (Omnicam) mit einem para- 
bolischen Spiegel beschrieben. Selbstverstandlich lassen sich 
diese Grundlagen entsprechend auch auf andere Kamerasysteme 
mit anderen optischen Eigenschaf ten ubertragen. 
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Optischer Fluss 
Allgemeiner optischer Fluss 

The derivative of the Omnicam projection equations Die Zeitableitung der Omnicam- 
Abbildungsgleichungen (27f) ist 

_ 2f (R-(R + Z)-X>) ■ 2JXY 2fX * 

~ R(R + Z)* A R-(R+Z)* Y R-(R + Z)* {ob > 

_ 2fXY 2f-{R.{R + Z)-Y>) 2JY ± 

V ' R(R+Z)** + R(R+Zy> Y R-(R~Z) Z ( °° 



Setzc man die Abbildungsgleichungen (27f) wieder ein. ergibt sich 

- - ( vL\ -i _ fit. z 

X ~ \ S+ 21 ) R 2/ R X R 
. _ xy X / x- \ Y Z 
V ~ '2fR- r {-2f)R- y R 



(58) 



V 1 (59) 



Optischer Fluss bei geneigter Kamera 

Fiir cine geneigt.e Kamera wie in Fig. 3 wird die Bewegung beschrieben durch 
Gl. (of). Setzt. man dies in die Gl. (58f) oben ein, folgt 



* = if ( cosr - j? sinr )) 
l? ) sinT )) 



(60) 



!j=- [yco S T+ + sinr) | (61) 



Dabei beachte man. dass R und z von der Bildposition abhangen. Ansfiihrlicher 
lautet daher der vertikale Fluss 



,J = \ ■ ( 



4 p + x 2 - v' 2 \ 
ycosr-h — — — sinr J (62) 



Der Abstand R(x. y) moduliert den horizontalen und vertikalen Fluss mit demselben 
Vorfaktor. Daher beeinflusst R(x. y) nur die Lange der Flussvektoren. nicht aber de- 
ren Richtung. Wie gezeigt. wird die Flussrichtung nur durch die Kamerabewegung 
bestimmt. d.h. durch die Lage des Expansionspunktes. Fur diese Translationsbe- 
wegung ist die Richtung der Flussvektoren also unabhangig von der Tiefenstruktur 
der Unigebung. 

Optische Fluss bei Kamera in Fahrtrichtung 

Fur eine Omnicam, deren Achse in Fahrtrichtung zeigt. vereinfachen sich die Fluss- 
gleichungen (60f): 

± = ^ (63) 

y = ^ (64) 

Dies ist dem Flussfeld der Lochkamera sehr ahnlich. Der einzige Unterschied besteht 
im Nenner R, bei der Lochkamera steht dort Z. Bei beiden Kameratypen ist das 
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Flussfeld in diesem Fall rein radial, d.h. der Flussvektor (x.y) ist parallel zum 
Radiusvektor (x, y), auch wenn sich R(x,y) iiber das Bild iindert. 
Fur eine froncoparallele Wand bei der Tiefe Z — c folgt aus Gl. (38) 



Daher sieht das zugehorige Flussfeld aus wie in Fig. 9 gezeigt: 

. _ Vx 4/ 2 - x 2 - y 2 

~ c 4/ 2 -f x 2 -r y' 2 

. = Vy 4/ 2 - x 2 - y 2 

V c ' 4/* 



(66) 
(67) 



Optischer Fluss einer vertikalen Seitenwand 

Man betrachte nun wieder eine Kamera mit Neigungswinke! r am Fahrzeug wie in 
Fig. 3. Eine vertikale Seitenwand parallel zur Fahrrichtung ist gegeben durch X = a. 
Die Wandentfernung nach Gl. (39) kann man in die allgemeine Flussgleichung (60f) 
einsetzen: 

(68) 

T (69) 

At 

(70) 



i = L.( COS7 ._JL sinr ) 

y = l.^, f :osr+ (z + j^) sin r) • - 



2/ - z 



Ausfuhrlicherlicher lautet dies so: 

4/x 2 



V ( V . \ 
x = — - ( cos r sin r ] 



4/2 + x *+,j-2 



V ( 4 / 2 -hx 2 -7/ 2 . \ 4/x ? y 
V = — -{cost+— — — sin r ) • — - (<1) 

Dies ist in Fig. 10 illustriert. 

Optischer Fluss einer horizontalen Ebene 

Eine horizontale Ebene (z.B. die StraBe oder ein Garagendach) ist gegeben durch 
Vv = h. Die Wandentfernung nach Gl. (42) kann man in die allgemeine Flussglei- 
chung (60f) einsetzen: 



y cos t -f z sin r 



Vx ( V \ 

x = _.^ cosr __ sinr J. 

v ( , *'"\ \ V 

V = j - \ycosT+ (z+ —) skit) - 



2/ - z 

cost -r zsinr 



(72) 

(73) 
(74) 



Ausfuhrlicherlicher lautet dies so: 

4 fy cos r + (4 / 2 — x 2 — y 2 ) sin r 



4/ 2 + x 2 + y 2 



Vx ( y . \ 

x = ♦ I cos r — — sin r I 

V'ty / 4/ 2 -f x 2 - y 2 . \ 4/?y cos r -h (4/ 2 - x 2 - y 2 ) sin r 

7/ = -i.(cosT+-i sinr ]•— : J* J — — 

b \ Ay ) 4/ 2 + x 1 + y 2 



Dies ist in Fig. 11 illustriert- 
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Zur Vereinfachung kann man noch die dricte binomische Formel anwenden: 



Optischer Fluss eines Korridors 

Fig. 12 zeigt die Tiefenkarte eines Korridors. Der Seitenbalken zeigt die zur Codie- 
rung der Tiefe verwendecen Farben. Die Tiefe wurde nach Gl. (39) fur die vertikalen 
Wande und Gl. (42) fur den horizontalen Boden und die Decke berechnet. 
Fig. 13 zeigc den theoretisch erwarteten Fluss fiir diesen Korridor. Er kann nach 
Gl. (70f) fiir die vertikalen Wande und Gl. (75f) fiir Boden und Decke berechnet 
werden. Horizont, und FOE sind wie oben durch den gelben Kreisbogen bzw. ein 
Pluszeichen markiert. Die Fig. 14 und 15 zeigen dasselbe Flussfeld als farbkodierte 
Bilder jeweils fiir den horizoncalen und vercikilen Fluss. 




V (4 fy cos r -h (4/ 2 — y~) sin r 



\ ' 2 4 • 2 
) — x sin r 



(76) 



4/6 ' Ap + x*+y 2 
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Diejenigen Stellen im Bild, an denen der Modellfluss geringer 
ist, als der tatsachlich gemessene Fluss, sind potentielle 
Kollisionskandidaten und werden als solche dem Fahrer in 
einer auffalligen Farbe dargestellt und konnen bei 
entsprechender Gr6£e auch zur Generierung eines 
beispielsweise akustischen Warnsignals herangezogen werden. 
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Finkele/deu 



Patentans p ruche 

1. Verfahren zur Uberwachung des Freiraums in Fahrtrichtung 
eines Fahrzeuges, 
5 bei welchem mittels eines Kamerasystems Bilddaten des im Be- 
reich der Fahrtrichtung befindlichen Fahrzeugumf eldes aufge- 
nommen werden, 

wobei zusatzlich auf Basis der Betriebsparameter und der Ab- 
messungen des Fahrzeuges der fur eine ungehinderte Fahrt be- 
10 notigte dreidimensionale Freiraum in einer Signalverarbei - 
tungseinheit voraus berechnet wird, 

und wobei dem Fuhrer des Fahrzeuges zumindest der den beno- 
tigten Freiraum darstellende Teil der erfassten Bilddaten an- 
gezeigt wird, 

15 dadurch gekennzeichnet, 

dass die Anzeige der Bilddaten hierbei im wesentlichen aus 
einer Perspektive erfolgt, wie sich die in Fahrrichtung lie- 
genden Fahrzeugumgebung dem Fuhrer des Fahrzeuges bei direk- 
ter Sicht darstellen wiirde, 

2 0 und dass wenigstens die dem dreidimensionalen Freiraum zuge- 
ordneten Bilddaten einer Weiterverarbeitung unterzogen wer- 
den, 

wobei als ein Ergebnis dieser Weiterverarbeitung, der Fahr- 
zeugfuhrer dariiber informiert wird, ob fur eine ungehinderte 
2 5 Fahrt ein ausreichender Freiraum zur Verfiigung steht oder 
nicht . 
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2 . Verf ahren nach Anspruch 1 , 

dadurch gekennzeichnet, 

dass die Weiterverarbeitung dynamische , zeitliche Veranderun- 
gen in den Bilddaten in Betracht zieht. 

5 

3. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Information des Fahrzeugf iihrers fur den Fall, dass 
fur eine ungehinderte Fahrt kein ausreichender Freiraum zur 
10 Verfugung steht , durch Warnmittel, insbesondere durch op- 

tisch, akustisch oder haptisch wahrnehmbare Signalgeber, er- 
folgt . 

4. Verf ahren nach einem der vorhergehenden Anspriiche, 
15 dadurch gekennzeichnet, 

dass die Information des Fahrzeugf iihrers fur den Fall, dass 
fur eine ungehinderte Fahrt kein ausreichender Freiraum zur 
Verfiigung steht, die bildliche Darstellung zumindest eines 
Teils der weiterverarbeiteten Bilddaten erfolgt, 
20 wobei in diesen Bilddaten diejenigen Objekte, welche sich be- 
hindernd im benotigten Freiraum befinden von den anderen 
Bildobjekten hervorgehoben dargestellt werden. 

5 . Verf ahren nach Anspruch 4 , 

25 dadurch gekennzeichnet, 

dass die Hervorhebung dergestalt erfolgt, dass die behindern- 
den Objekte mit Symbolen iiberlagert werden, welche deren Be- 
wegungsrichtung und/oder deren Bewegungsgeschwindigkeit rep- 
rasentieren. 

30 

6. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Information des Fahrzeugf iihrers beziiglich des Vor- 
handenseins eines ausreichenden Freiraums durch die bildliche 
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Darstellung zumindest eines Teils der weiterverarbeiteten 
Bilddaten erf olgt, 

wobei dargestellten Bilddaten durch eine symbolische Darstel- 
lung der Randbegrenzungen des durch die Vorausberechnung in 
der Signalverarbeitungseinheit ermittelten, benotigten Frei- 
raums iiberlagert werden. 

7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 

dass die symbolische Darstellung der Randbegrenzungen durch 

symbolisch dargestellte Wande erf olgt . 

8. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 
dass die symbolische Darstellung der Randbegrenzungen durch 
symbolisch dargestellte Wande und einen Deckenbereich 
und/oder Bodenbereich in Form eines Tunnels erf olgt . 

9. Verfahren nach einem der Anspriiche 6 bis 8, 
dadurch gekennzeichnet, 

dass die Randbegrenzung mittels eines Gitters, einer Aneinan- 
derreihung von Balken oder in Form eines Schachbrettmusters 
visualisiert wird. 

10. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Wandbereiche und/oder der Deckenbereich und/oder der 
Bodenbereich so gestalten werden, dass sie 

- eine geometrisch klare und eindeutig identif izierbare 
Struktur besitzen, 

- einen „Durchblick" auf die hinterlegte Videoszene gestatten 
und 

- so berechnet sind, dass sie auch wahrend der Fahrzeugbewe- 
gung in Langsrichtung stillzustehen scheinen. 
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11. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die dem Fuhrer des Fahrzeuges anzeigte Szene zumindest 
fur eine bestimmte zuruckliegenden Zeitraum oder eine be- 
stimmte zuriickgelegte Fahrstrecke zwischengespeichert wird 
und durch den Fahrzeugf uhrer zur wiederholten Ansicht abgeru- 
fen werden kann. 

12. Verfahren nach einem der Anspriiche 6 bis 11, 
dadurch gekennzeichnet, 

dass die mit den Randbegrenzungen des notwendigen Freiraums 
uberlagerte Kamerabilddaten einem auf dem optischen Fluss ba- 
sierenden Bildverarbeitungsverf ahren zugefiihrt werden, wel- 
ches die Bewegung der ortsfesten Randbegrenzungen in den 
Bilddaten mit der tatsachlichen Bewegung von Gegenstanden im 
Bild vergleicht, 

wobei diejenigen Stellen im Bild, an denen der Modellfluss 
geringer ist, als der tatsachlich gemessene Fluss, als poten- 
tielles Kollisionsobj ekt gewertet wird. 

13. Verfahren nach Anspruch 12, 

dadurch gekennzeichnet, 
dass bei Vorhandensein eines potentiellen Kollisionsobj ekts 
dieses optisch, beispielsweise farblich, hervorgehoben wird 
und/oder der Fahrzeugf iihrer durch ein Warnsignal davor ge- 
warnt wird. 

14. Vorrichtung zur Uberwachung des Freiraums in Fahrtrich- 
tung eines Fahrzeuges, 

mit einem Kamerasystem zur Erfassung von Bilddaten aus dem in 
Fahrtrichtung des Fahrzeuges befindlichen Fahrzeugumf eldes , 
mit einer Signalverarbeitungseinheit , welche mit Sensoren zur 
Erfassung der Betriebsparameter des Fahrzeugs in Verbindung 
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steht und einen Speicher auf weist, in welchem Daten bezug- 

lich der Abmessungen des Fahrzeugs abgelegt sind, 

sowie mit einer mit der Signalverarbeitungseinheit in Verbin- 

dung stehenden Anzeigeeinheit zur Anzeige zumindest des den 

benotigten dreidimensionalen Freiraum darstellende Teils der 

Bilddaten, 

dadurch gekennzeichnet, 

dass der der Signalverarbeitungseinheit zugeordnete Speicher 
so ausgelegt und organisiert ist, 

dass eine Mehrzahl von Datensatze beziiglich unterschiedlicher 
Fahrzeugabmessungen abgespeichert sind, welche gezielt ausge- 
wahlt und der Signalverarbeitungseinheit zur Verfiigung ge- 
stellt werden konnen, 

und/oder dass der Speicher mit einem Mittel versehen ist, 
durch welches der wenigstens eine im Speicher abgespeicherte 
Datensatz ausgewechselt werden kann. 

15. Vorrichtung nach Anspruch 14, 
dadurch gekennzeichnet, 

dass das Mittel zur gezielten Auswahl eines der im Speicher 
abgespeicherten Datensatze eine vom Fahrzeugf uhrer bedienbare 
Tastatur ist . 

16. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Mittel zum Austausch wenigstens eines im Speicher 
abgespeicherten Datensatzes eine Kommunikationseinrichtung , 
zur Fernubertragung von Daten, umf asst . 

17. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Kamerasystem zumindest eine katadioptrische Kamera 
umf asst . 
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18. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 
dass die Vorrichtung einen Speicher zur Zwischenspeicherung 
zumindest von Teilen der dem Fuhrer des Fahrzeuges angezeig- 
5 ten Bilddaten umfasst, 

und dass ein Mittel vorgesehen ist, mittels welcher der Fahr- 
zeugfiihrer diese zwischengespeicherten Bilddaten zur wieder- 
holten Ansicht abrufen kann. 

10 19. Vorrichtung nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 
dass die Vorrichtung eine Einheit zur Bildverarbeitung auf 
Basis des optischen Flusses umfasst, mittels welcher die mit 
den Randbegrenzungen des notwendigen Freiraums uberlagerten 

15 Bilddaten dahingehend verarbeitet werde konnen, 

dahingehend dass die Bewegung der ortsfesten Randbegrenzungen 
in den Bilddaten mit der tatsachlichen Bewegung von Gegens- 
tanden im Bild verglichen werden, 

so dass diejenigen Stellen im Bild, an denen der Modellf luss 
20 geringer ist, als der tatsachlich gemessene Fluss, als poten- 
tielles Kollisionsobj ekt gewertet werden konnen . 

20. Vorrichtung nach Anspruch 19, 
dadurch gekennzeichnet, 
25 dass die Vorrichtung eine Einheit zur Bildverarbeitung so mit 
der Anzeige fur den Fahrzeugf iihrer und/oder Warnsignalgebern 
in Verbindung steht, 

so dass die potentiellen Kollisionsobj ekte in den dargestell- 
ten Bilddaten hervorgehoben werden konnen oder dass der Fahr- 
3 0 zeugf iihrer vor diesen Ob j ekt en gewarnt werden kann. 
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21. Verwendung des Verfahrens und der Vorrichtung nach einem 
der vorhergehenden Anspriiche, bei der Ruckraumuberwachung im 
Ranggierbetrieb von Fahrzeugen. 




Figur 4 



Omnicam compression function 
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Figur 5 



Omnicam expansion function 
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Figur 6 
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Figur 7 



Cortical flow direction tar Inclined omnicam 
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Figur 8 



Optical fbw for omnicam boking atfrontapaiallel wall 
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Figur 9 

Optical fbw far inclined omnicam boking at vertical wall 
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Figur 10 
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Optical ftaw foi inclined omnicam looking at giound ftooi 
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Figur 1 1 



distance to corridor walls 
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Figur 14 




Figur 15 
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Zusammenf assung der Erfindung 
Freiraumuberwachung bei Kraftfahrzeugen 

Bei schwierigen Fahrmanovern ist es fur Fiihrer von Kraftfahr- 
zeugen oft schwierig abzuschatzen, entlang welcher Bahn sich 
ihr Fahrzeug bewegen wird und welcher Freiraum zur Kollisi- 
onsvermeidung notwendig ist. Dies ist insbesondere dann der 
Fall, wenn der Fahrzeugf uhrer mit den AbmaBen des Fahrzeugs 
oder dessen Fahrverhalten nicht vertraut ist. 

Es wird ein Verfahren zur Uberwachung des Freiraums in Fahrt - 
richtung eines Fahrzeuges vorgeschlagen, bei welchem mittels 
eines Kamerasystems Bilddaten des im Bereich der Fahrtrich- 
tung befindlichen Fahrzeugumf eldes aufgenommen werden. Zu- 
satzlich wird auf Basis der Betriebsparameter und der Abmes- 
sungen des Fahrzeuges innerhalb einer Signalverarbeitungsein- 
heit der fur eine ungehinderte Fahrt benotigte Freiraum vor- 
aus berechnet. Dem Fiihrer des Kraf tf ahrzeuges werden dabei 
zumindest Teile der durch das Kamerasystem erfassten Bildda- 
ten des benotigten Freiraums auf einer Anzeige angezeigt. In 
erf inderischer Weise werden die dem benotigten Freiraum zuge- 
ordneten Bilddaten einer Weiterverarbeitung unterzogen, wobei 
als ein Ergebnis dieser Weiterverarbeitung, der Fahrzeugf uh- 
rer daruber informiert wird, ob fur eine ungehinderte Fahrt 
ein ausreichender Freiraum zur Verfugung steht oder nicht. In 
vorteilhaf ter Weise wird es somit moglich durch eine kontinu- 
ierliche Auswertung der Bilddaten automatisch auch auf eine 
dynamische Veranderung des Fahrzeugumf eldes zu reagieren und 
den Fahrzeugf uhrer daruber zu informieren, ob fur eine unge- 
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hinderte Fahrt ein ausreichender Freiraum zur Verfugung steht 
oder nicht. In einer besonders vorteilhaf ten Ausgestaltung 
der Erfindung werden im Rahmen der Weiterverarbeitung der 
Bilddaten die dem Fahrzeugf iihrer angezeigten Bilddaten durch 
5 eine symbol ische Darstellung der Randbegrenzungen des durch 
die Vorausberechnung in der Signalverarbeitungseinheit ermit- 
telten, benotigten Freiraums uberlagert . Hierbei ist es be- 
sonders vorteilhaf t , die Randbegrenzungen durch symbolisch 
dargestellte Wande zu beschreiben. Die Hohe der Wande ent- 
10 spricht hierbei der Hohe des benotigten Freiraums (d.h. im 

wesentlichen den im Speicher abgelegten Abmessungen bezuglich 
der maximalen Hohe des Fahrzeuges) . 

15 (Figur 1) 



